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摘 要 McGurk 效应 ( 麦 格 克 效应 ) 是 典型 的 视听 整合 现象 ,该 效应 受到 刺 激 的 物理 特征 、 注 意 分 配 、 个 体 视 
听信 息 依 赖 程度 、 视 听 整 合 能 力 、 语 言 文化 差异 的 影响 。 引 发 McGurk 效应 的 关键 视觉 信息 主要 来 自 说 话 者 
的 嘴 部 区 域 .产生 McGurk 效应 的 认 知 过 程 包含 早期 的 视听 整合 (与 矣 上 皮层 有 关 ) 以 及 晚期 的 视听 不 一 致 冲突 
(与 额 下 皮层 有 关 )。 未 来 研究 应 关注 面孔 社会 信息 对 McGurk 效应 的 影响 ，McGurk 效应 中 单 通 道 信 息 加 工 与 
视听 整合 的 关系 ， 结 合计 算 模 型 探讨 其 认 知 神经 机 制 等 。 
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言 觉 信息 ? 指 的 是 说 话 人 的 语音 信息 。 对 听力 正常 者 
而 言 ， 听 觉 信息 在 言语 感知 中 起 主导 作用 , 视觉 
信息 是 辅助 信息 。 即 使 如 此 ， 视觉 信息 对 言语 感 
知 的 影响 仍然 存在 ， 例 如 同时 呈现 听觉 信息 和 相 
应 的 视觉 信息 时 ， 言 语感 知 准 确 率 比 单独 呈现 听 
觉 信 息 时 高 (Ross,，Saint-Amour, Leavitt, Javitt, & 
Foxe, 2007) 一 一 这 体现 了 视听 整合 的 益处 。 
McGurk 效应 (McGurk effect / McGurk illusion) 
(McGurk & MacDonald, 1976) 是 一 种 典型 的 视听 


多 感觉 整合 (multisensory integration) 是 将 不 
同感 觉 通 道 输入 的 信息 有 效 合 并 为 统一 、 连 贯 、 
稳定 的 知觉 的 过 程 (Stein & Stanford, 2008; 文 小 
辉 ， 李 国 强 ， 刘 强 ，2011; 文 小 辉 等 , 2009)。 视 听 
言语 感知 (audiovisual speech perception) 是 一 种 典 
型 的 多 感觉 整合 过 程 一 一 在 与 他 人 面对面 交流 时 ， 
个 体会 整合 视觉 信息 和 听觉 信息 进行 言语 理解 ， 
也 即 视听 整合 (audiovisual integration)。 其 中 ,“ 视 
觉 信息 " 指 的 是 说 话 人 的 口唇 发 音 动作 、 面 部 肌肉 整合 现象 ， 指 的 是 当 特定 发 音 的 视觉 刺激 与 特定 


活动 及 表情 等 。 个 休 轩 以 利用 这 些 信息 形成 连续 。。 滨 间 的 听觉 剂 激 同 时 呈现 时, 个体 可 能 产生 新 感 


的 视 知觉 并 与 头脑 中 储存 的 词语 表象 相 比较 和 知 的 现象 (例如 : 说 话 者 说 “ga” 的 视频 和 说 “ba” 的 
联系 ,进而 理解 说 话 者 表达 的 内 容 。 该 过 程 也 称 。 ”音频 同时 呈现， 听话 着 可 能 会 感知 到 男 一 个 音节 
为 “ 展 读 ” (lipreading) (Summerfield, 1992; hjg, “da”), 这 反映 了 视觉 言 息 对 听觉 感知 的 影响 。 一 
2006; 徐 诚 , 2013)。 例 如 : 听力 障碍 者 主要 依赖 视 MAN, RET McGurk 效应 即 发 生 了 视听 整合 ， 
觉 信息 进行 言语 感知 ( 雷 江华 , 方 俊明 , 2005)。“ 听 PEB McGurk 效应 发 生 率 可 以 作为 视听 整合 强 弱 
的 指标 (Fernindez, Macaluso, & Soto-Faraco, 2017; 
Marques, Lapenta, Costa, & Boggio, 2016; Tiippana, 
收 稿 日 期 : 2018-03-13 2014). 


* 国家 自然 科学 基金 面 上 项 目 (31470976), 科技 部 973 A BHO eGR ie 
项 目 2015CB856400)， 机 器 感知 与 智能 教育 部 重点 实 McGurk 效应 一 直 是 视听 言语 感知 研究 中 的 


验 室 开放 课题 基金 项 目 (K-2017-05), 热点 问题 。 自 McGurk 和 MacDonald (1976) 发 表 
通信 作者 : 周 晓 林 , E-mail: xz104@pku.edu.cn 该 效应 ,到 2016 年 40 年 间 ， 原 文 已 经 被 引用 近 
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5000 次 (Alsius, Paré, & Munhall, 2018; MacDonald, 
2018)。 即 使 如 此 ， 目 前 仍然 缺乏 全 面 、 系 统 的 
McGurk 效应 综述 。Marques 等 人 (2016) 的 综述 了 
要 关注 McGurk 效应 的 研究 对 理解 视听 整合 过 程 
的 启示 , 尤其 是 如 何 用 视听 整合 的 理论 模型 来 解 
释 McGurk 效 应 , 以 及 McGurk 效 应 在 特殊 人 群 言 
语感 知 研究 中 的 应 用 。 但 该 综述 集中 于 视听 整合 
问题 ， 对 McGurk 效应 本 身 关注 不 足 。 例如 : 没有 
关注 McGurk 效 应 的 测量 和 界定 ; 对 McGurk 效 应 
的 影响 因素 讨论 较 少 (文中 只 涉及 了 外 界 物理 刺 
激 的 影响 ); 没有 关注 McGurk 效应 中 可 能 存在 的 
视听 不 一 致 冲突 问题 等 Alsius 等 人 (2018) 的 综述 
主要 关注 McGurk 效应 作为 视听 言语 感知 过 程 的 
研究 工具 有 哪些 局 限 性 以 及 需要 注意 的 问题 , JÈ 
其 是 影响 McGurk 效 应 发 生 率 的 因素 以 及 McGurk 
刺激 与 视听 一 致 刺激 的 差异 。 但 该 综述 的 主要 目 
的 在 于 反思 当前 研究 使 用 McGurk 范式 的 合理 性 ， 
没有 涉及 神经 基础 问题 ; 且 其 对 McGurk 效应 的 
影响 因素 的 阐述 系统 性 不 足 。MacDonald (2018) 
的 综述 回顾 了 40 年 前 McGurk 效应 的 发 现 过 程 以 
及 作者 的 心路 历程 ,是 对 历史 事件 的 回顾 ， 没 有 
关注 McGurk 效应 的 最 新 研究 进展 。 

本 文 尝试 对 McGurk 效应 进行 全 面 、 系 统 的 
综述 。 首 先 探 讨 McGurk 效应 的 测量 与 界定 问题 。 
再 从 个 体内 变异 和 个 体 间 变异 的 角度 出 发 ,阐述 
影响 McGurk 效应 的 相关 因素 。 进 一 步 从 眼 动 模 
式 、 动 态 神经 加 工 过 程 、 相 关 脑 区 三 个 方面 ， 阐 
述 McGurk 效应 的 认 知 神经 基础 。 最 后 提出 未 来 
研究 展望 以 及 需要 注意 的 问题 。 


2 McGurk 效应 的 测量 与 界定 


已 有 研究 一 般 采用 “McGurk 效应 发 生 率 ”f 
为 评价 McGurk 效应 强 弱 (多 少 ) 的 指标 一 一 使 
McGurk 刺激 实施 多 次 测量 后 ,计算 其 中 发 生 
McGurk 效应 的 次 数 比 例 (在 测量 的 过 程 中 需要 加 
入 视听 一 致 刺激 或 视听 不 一 致 但 不 会 诱发 McGurk 
效应 的 刺激 作为 填充 试 次 )。 研 究 中 最 常用 的 
McGurk 刺激 是 视觉 ga” 加 听觉 “ba” 的 视听 组 合 ， 
发 生 McGurk 效应 时 可 能 感知 到 “da” (Beauchamp, 
Nath, & Pasalar, 2010; Fernandez et al., 2017; Nath & 
Beauchamp, 2012)。 除 此 之 外 ,视觉 ka” 加 听觉 “pa” 
可 能 感知 到 “ta”(Gurler, Doyle, Walker, Magnotti, & 
Beauchamp, 2015)。 男 一 方面 也 有 研究 在 元 音 上 
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采用 “等 其 他 搭配 ， 例 如 视觉 “gi> 加 听觉 “b 记 可 
能 感知 到 “di”(Colin，Radeau，Soquet， 
Colin, & Deltenre, 2002)。 也 有 研究 在 辅音 之 前 添 
加 元 音 , 例如 视觉 “aga” 加 听觉 “aba” 可 能 感知 到 
“ada” (Bertelson, Vroomen, & de Gelder, 2003; 
Buchan & Munhall, 2012)。 还 有 研究 会 重复 两 次 音 
节 , 例如 视觉 <gaga”* 加 听觉 “baba” 可 能 感知 到 “dada” 
(Mallick, Magnotti, & Beauchamp, 2015; McGurk & 
MacDonald, 1976). BA McGurk 刺激 有 很 多 种 ， 
但 是 其 核心 都 是 特定 视觉 辅音 和 听觉 辅音 的 组 合 ， 
使 个 体感 知 到 的 听觉 刺激 发 生 改变 。 

为 什么 只 有 特定 的 视听 信息 组 合 才 会 产生 
McGurk 效应 , 而 其 他 组 合 则 不 会 ? 分 层 预 测 编码 
模型 (hierarchical predictive coding model, Olasagasti, 
Bouton, & Giraud, 2015) 给 出 了 解释 。 该 模型 考虑 
到 视觉 和 听觉 信息 的 动态 交互 过 程 ， 建立 了 视觉 
信息 ( 层 形 ，lip aperture) 和 听觉 信息 (第 二 共振 峰 ， 
second formant) 在 物理 维度 上 的 动态 变化 二 维 空 
间 ， 以 探究 不 同感 觉 通道 对 输入 的 感知 信息 进行 
预测 和 判断 的 动态 变化 过 程 。 在 典型 的 McGurk 
效应 中 ,视觉 *ga” 和 听觉 “ba” 的 视听 不 一 臻 输入 
与 视觉 “da” 和 听觉 “da” 的 视听 一 致 输入 在 上 述 二 
维 空间 中 的 坐标 非常 接近 ， 所 以 这 种 情况 下 的 视 
听 不 一 致 并 不 会 造成 很 强 的 跨 通 道 冲突 ,而 可 能 
会 更 接近 “da” 的 表征 。 但 如 果 反 过 来 ,对 于 视觉 
“ba” 和 听觉 “ga” 的 不 一 臻 输入 ， 其 坐标 与 其 他 视 
听 一 致 音节 的 坐标 都 不 接近 ， 因 此 ,这 种 视听 不 
一 致 信息 输入 会 造成 较 强 跨 通道 冲突 ,无 法 融 
合 。 所 以 , 融合 的 发 生 可 能 是 因为 视听 不 一 致 刺 
激 的 视听 通道 表征 在 二 维 动 态 编码 空间 中 非常 接 
近 某 个 视听 一 致 刺激 的 表征 ， 大脑 就 更 容易 预期 
当前 刺激 是 视听 一 致 的 ， 进 而 表征 出 在 二 维 空 间 
中 坐标 接近 的 视听 一 致 感知 。 

关于 McGurk 效应 的 界定 ， 即 “被 试 的 什么 反 
应 可 以 算 作 发 生 了 McGurk 效应 ”, 不 同 的 研究 之 
间 存 在 一 定 差异 。 部 分 研究 的 界定 比较 严格 一 一 
只 有 个 体感 知 到 了 特定 的 融合 音节 (例如 在 呈现 
视觉 “ga” 和 听觉 “ba” 时 感知 到 “da”), 才能 算是 发 
生 了 McGurk 效应 (Colin et al., 2002; Rosenblum, 
Schmuckler, & Johnson, 1997). 但 是 这 种 界定 方式 
忽略 了 很 多 其 他 情况 (例如 : 依据 该 界定 ， 如 果 被 
试 报告 感知 到 “tha”ga” 等 其 他 音节 ， 就 不 能 算 作 
BHT McGurk 效应 )。 所 以 ， 另 一 部 分 研究 采用 
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的 是 自由 度 更 高 的 界定 一 一 只 要 被 试 报告 不 同 于 
实际 听觉 刺激 的 感知 ， 都 算是 发 生 了 McGurk 效 
应 (Gurler et al., 2015; Mallick et al., 2015; Wilson, 
Alsius, Paré, & Munhall, 2016)。 这 种 定义 更 符合 
“McGurk 效应 反映 了 视觉 信息 对 听觉 感知 的 影 
响 ” 这 一 观点 。 目 前 ， 多 数 研 究 者 倾向 于 采取 后 者 
这 种 高 自由 度 的 界定 ， 以 纳入 所 有 视听 信息 交互 
的 情况 (Alsius et al., 2018; Tiippana, 2014)。 本 文中 
涉及 的 研究 多 数 是 后 一 种 界定 。 


3 McGurk 效应 的 影响 因素 


3.1 影响 McGurk 效应 个 体内 变异 的 因素 

McGurk 效应 的 个 体内 变异 是 指 对 同一 个 体 
而 言 ， 其 McGurk 效应 发 生 率 由 于 受到 某 些 因素 
的 影响 而 发 生 改 变 的 现象 ( 即 在 被 试 内 设计 中 ,不 
同 实验 条 件 之 间 的 McGurk 效应 发 生 率 改变 )。 造 
成 McGurk 效应 个 体内 变异 的 因素 主要 有 物理 刺 
激 (例如 : 视觉 、 听 党 刺激 及 其 同步 性 等 自 下 而 上 
的 外 部 因素 ) 和 认 知 因素 (例如 : 注意 分 配 、 心 理 预 
期 等 自 上 而 下 的 内 部 因素 )。 
3.1.1 ”物理 刺激 因素 

视觉 刺激 变化 可 能 影响 个 体 对 视觉 信息 的 加 
工效 果 ( 即 影响 层 读 过 程 )， 进而 造成 McGurk 效应 
的 个 体内 变异 。 视 觉 信 息 呈 现 的 质量 越 好 ( 越 清 
晰 、 越 完整 )， 越 容易 发 生 McGurk 效应 ; 而 破坏 视 
党 信息 的 呈现 会 降低 其 对 听觉 感知 的 影响 , 即 减少 
McGurk 效应 。 研 究 者 通过 降低 视频 分 辨 率 (Wilson 
et al., 2016), 、 对 视频 进行 马赛 克 转 换 (MacDonald， 
Andersen, & Bachmann, 2000)、 对 视频 进行 空间 像 
素 化 处 理 (Thomas & Jordan，2002) 等 技术 手段 来 
降低 视频 的 清晰 程度 。 结 果 均 表明 , McGurk 效应 


McGurk 效应 也 会 减少 (Rosenblum, Yakel, & Green, 
2000; Ujiie, Asai, & Wakabayashi, 2018)。 近来 还 
有 研究 发 现 ， 降 低 视 频 的 播放 速度 (这 可 能 破坏 原 
本 流畅 的 视觉 信息 ) 也 会 减少 McGurk 效应 (Magnotti, 
Mallick, & Beauchamp, 2018). 

虽然 视觉 信息 的 呈现 质量 对 McGurk 效应 影响 
较 大 , 但 通过 破坏 视觉 信息 很 难 完全 消除 McGurk 
效应 。 只 要 仍 有 少量 有 效 的 视觉 信息 线索 ,效应 
都 还 会 发 生 。 即 McGurk 效应 较为 稳定 、 不 易 消 
除 。 研 究 表明 ， 即 使 呈现 马赛 克 程 度 最 高 的 视觉 
信息 (MacDonald et al., 2000), 或 是 将 面部 距离 增 
加 到 20 米 之 远 (Jordan & Sergeant, 2000), 其 至 将 
视频 的 嘴 部 区 域 删 除 (Jordan & Thomas, 2011), 
McGurk 效应 仍 会 发 生 。 

不 过 ， 如 果 视 觉 信息 没有 被 意识 觉察 ( 国 下 哇 
现 )， 就 不 会 发 生 McGurk 效应 。 即 对 于 McGurk 
效应 而 言 ， 国 下 视觉 加 工 不 足以 引发 视听 整合 
(Munhall, ten Hove, Brammer, & Paré, 2009)， 视 觉 
信息 需要 被 意识 觉察 才 可 能 引起 McGurk 效应 。 
有 研究 使 用 连续 闪烁 抑制 范式 (continuous flashing 
suppression, CFS, Fang & He, 2005; Tsuchiya & 
Koch, 2005) McGurk 刺激 的 视觉 信息 呈现 在 阔 
下 。 结 果 表 明 , 在 CFS 条 件 下 , McGurk 效应 消失 
‘J (Palmer & Ramsey, 2012)。 还 有 研究 设计 了 一 种 
动态 双 歧 图 的 McGurk 刺激 呈现 方法 (一 个 花瓶 的 
边缘 构成 两 个 面对面 的 侧 脸 。 花 瓶 在 旋转 ， 其 边 
缘 构 成 的 侧 脸 在 旋转 过 程 中 呈现 出 嘴 型 的 变化 。 
被 试 对 该 动态 双 歧 图 的 感知 会 在 “ 侧 脸 " 和 “花瓶 ” 
之 间 变 化 )。 如 果 McGurk 效应 的 发 生 无 需 意 识 觉 
察 视 觉 信息 ,那么 无 论 个 体 对 双 歧 图 的 感知 如 何 ， 
都 应 该 会 发 生 McGurk 效应 。 但 如 果 McGurk 效 


随 视 频 清 晰 度 的 降低 而 减少 。 也 有 研究 将 视频 切 
分 后 只 呈现 其 中 一 部 分 (Jordan & Thomas, 2011; 
Ujiie, Asai, & Wakabayashi, 2015) 、 或 是 用 光 点 来 
呈现 说 话 者 的 面部 运动 信息 (损失 了 很 多 原 有 面 
部 运动 信息 ) (Jordan, McCotter, & Thomas, 2000), 
McGurk 效 应 ( 相 比 于 呈现 完整 的 面部 视频 ) 也 会 减 
少 。 还 有 研究 在 10 米 或 20 米 之 外 呈现 视频 (距离 
越 远 视频 越 看 不 清 ),，McGurk 效应 会 随 距离 增加 
而 减少 (Jordan & Sergeant, 2000). 此 外 , 将 视频 里 的 
面孔 倒置 (人 们 对 倒置 的 面孔 加 工 更 困难 ) (Thomas 
& Jordan，2002)， 或 是 将 正 立 面孔 的 嘴 部 倒置 (这 
种 奇怪 的 面孔 也 会 增加 人 们 对 面孔 的 加 工 难度 )， 


应 的 发 生 需 要 意识 觉察 视觉 信息 ， 则 只 有 在 个 体 
对 双 歧 图 的 感知 是 “ 侧 脸 ” 时 ， 才 会 发 生 McGurk 
效应 ( 当 感知 为 “花瓶 ”时 ， 不 会 发 生 McGurk 效应 )。 
实验 结果 也 支持 了 后 一 个 推论 (Munhall et al., 2009)。 

当然 ,有 的 视觉 信息 对 McGurk 效应 影响 不 
Ko McGurk 效应 只 对 视觉 言语 信息 (相关 面部 肌 
肉 的 运动 ) 敏 感 ， 只 要 不 影响 视觉 言语 信息 的 呈现 
效果 ,就 不 会 影响 McGurk 效应 。 例 如 : 有 研究 表 
明 , 无论 将 视觉 刺激 用 彩色 呈现 还 是 用 黑白 呈现 ， 
其 McGurk 效应 发 生 率 都 没有 差异 (Jordan et al., 
2000)。 

相 比 于 视觉 信息 , 改变 听觉 信息 影响 McGurk 
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效应 的 研究 很 少 。 这 可 能 是 因为 McGurk 效应 本 
身 就 是 “对 听觉 信息 的 感知 受到 视觉 信息 的 影响 
而 发 生变 化 ” 如 果 改 变 听 觉 刺 激 ， 就 难以 区 分 听 
觉 感知 发 生 的 变化 究竟 是 来 自视 觉 信息 的 影响 ， 
还 是 来 自 听 觉 信息 本 身 改 变 的 影响 。 不 过 , 仍 有 
研究 者 从 听觉 刺激 的 角度 揭示 了 McGurk 效应 的 
稳定 性 一 一 音调 、 音 高 等 因素 对 McGurk 效应 的 


视听 信息 呈现 的 不 同步 ,也 仍然 可 能 产生 McGurk 
效应 (Soto-Faraco & Alsius, 2009), 这 也 体现 了 
McGurk 效应 的 稳定 性 。 

总 体 而 言 , McGurk 效应 一 方面 容易 受到 物理 
刺激 因素 影响 而 发 生 个 体内 变异 , 但 另 一 方面 勾 
具有 较 强 的 稳定 性 (不 容易 完全 消失 )。 现 有 研究 大 
都 关注 自 下 而 上 的 物理 刺激 因素 如 何 影响 McGurk 


影响 不 大 。 他 们 比较 了 正常 说 出 音节 和 唱 出 音节 
(用 升 调 、 降 调 两 种 唱法 ) 对 McGurk 效应 的 影响 ， 
结果 表明 在 “ 唱 出 * 和 “说 出 ”两 种 条 件 下 的 McGurk 
效应 发 生 率 没有 显著 差异 (Quinto, Thompson, Russo, 
& Trehub, 2010)。 

还 有 研究 者 针对 听觉 信息 的 呈现 来 拓展 McGurk 
效应 的 研究 范式 。 他 们 在 视觉 刺激 不 变 的 情况 下 ， 
改变 听觉 刺激 的 呈现 条 件 。 即 视觉 刺激 总 是 “ba”， 
而 听觉 刺激 可 能 是 “ba*( 与 视觉 信息 一 致 )， 也 可 
能 是 一 种 听 起 来 像 “a” 的 音频 (将 “ba” 的 辅音 信息 
减弱 )。 如 此 一 来 , 后 者 的 刺激 组 合 也 会 诱发 被 试 
报告 听 到 了 “ba”( 但 实际 的 听觉 刺激 是 “a”)， 即 视 
觉 言语 信息 对 听觉 感知 形成 了 “补充 ”"。 这 与 经 典 
McGurk 效应 类 似 (Irwin, Avery, Brancazio, Turcios, 
Ryherd, & Landi, 2018)。 该 范式 可 以 归 为 McGurk 
范式 的 一 种 变 式 一 一 经 典 McGurk 效应 关注 的 是 
听觉 信息 不 变 , 改变 视觉 信息 可 能 改变 个 体 的 听 
觉 感知 ; 而 该 变 式 关 注 的 是 视觉 信息 不 变 ,改变 
听觉 信息 后 ,视觉 信息 会 对 听觉 感知 进行 补充 ， 
也 体现 了 视觉 信息 影响 听觉 感知 。 未 来 研究 可 以 
尝试 将 该 范式 与 传统 的 McGurk 范式 进行 比较 ， 
验证 二 者 是 否 有 类 似 的 机 制 (例如 两 种 范式 的 效 
应 发 生 率 是 否 相 似 ? 是 否 激活 了 相似 的 视听 整合 
相关 脑 区 ? )， 可 考虑 将 该 变 式 作为 另 一 个 视听 整 
合 的 指标 。 

最 后 ， 视 觉 和 听觉 刺激 呈现 的 同步 性 也 可 能 
造成 McGurk 效应 的 个 体内 变异 。 在 视听 整合 研 
究 中 ， 视 觉 和 上 听觉 刺激 不 一 定 要 精确 地 同步 呈现 
才 会 引起 视听 整合 , 在 一 定时 间 窗 内 的 视听 刺激 
异步 对 视听 整合 影响 不 大 (Munhall, Gribble, Sacco, 
& Ward, 1996; Stevenson, Zemtsov, & Wallace, 
2012), McGurk 效应 也 不 例外 。 研 究 发 现 ， 只 要 
听觉 刺激 ( 相 比 于 视觉 刺激 ) 呈 现 的 延迟 在 -360~ 
360 ms 的 时 间 窗 内 ， 都 会 产生 McGurk 效应 。 当 
然 , 同步 性 的 降低 同时 也 会 导致 McGurk 效应 减 
少 (Munhall et al., 1996)。 此 外 , 即使 被 试 能 够 感知 到 
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效应 (尤其 关注 视觉 信息 的 影响 )， 也 得 出 了 较为 
一 致 的 结论 ; 然而 却 忽视 了 听觉 信息 的 作用 。 一 
个 值得 探究 的 问题 是 : 当 听 觉 信息 的 可 靠 性 下 
FAURE ERER), McGurk 效应 如 何 变化 ? 这 是 实 
际 生 活 中 很 常见 的 视听 言语 感知 情景 (例如 在 哮 
杂 的 环境 中 与 别人 聊天 )。 针 对 这 一 问题 ,我 们 预 
期 : 由 于 听觉 信息 可 靠 性 降低 , 个 体 对 视觉 信息 
的 权重 增加 ， 即 视觉 信息 对 听觉 感知 的 影响 增加 ， 
这 可 能 引发 更 多 McGurk 效应 。 
3.1.2 UMAR 

如 上 文 所 述 ， 物理 刺激 的 改变 对 McGurk 效 
应 的 影响 较 大 。 但 即使 面 对 相 同 的 物理 刺激 ,个 
体 的 认 知 状态 不 同 , 也 可 能 造成 McGurk 效应 发 
生 率 改变 。 而 且 , 相 比 于 物理 刺激 这 类 自 下 而 上 
的 调节 因素 ， 自 上 而 下 的 认 知 因素 变化 在 实际 生 
活 中 更 常见 (例如 我 们 面 对 的 常常 是 物理 刺激 相 
同 的 面孔 ,但 自身 的 认 知 状态 容易 发 生 改 变 )。 然 
而 这 类 研究 并 不 多 。 已 有 研究 主要 围绕 注意 分 配 
进行 探讨 一 一 当 个 体 分 配给 McGurk 任务 的 注意 
减少 时 , McGurk 效应 就 会 减少 。 研 究 采 用 双 任 务 
范式 , 要 求 被 试 在 进行 视听 判断 任务 (McGurk 任 
务 ) 的 同时 进行 一 项 无 关 的 视觉 或 听觉 任务 (这 降 
低 了 被 试 分 配 在 McGurk 任务 上 的 注意 )。 结 果 表 
明 , McGurk 效应 发 生 率 在 双 任 务 条 件 下 比 单 任务 
条 件 低 (Alsius, Navarra, Campbell, & Soto-Faraco, 
2005)。 进 一 步 研究 还 发 现 ， 如 果 被 试 同时 进行 一 
项 触觉 任务 (不 同 于 视觉 、 听 觉 通道 的 第 三 个 感觉 
mÉ), W) McGurk 效应 发 生 率 也 会 降低 (Alsius， 
Navarra, & Soto-Faraco, 2007)。 这 提示 注意 分 配对 
McGurk 效应 的 影响 并 不 仅仅 局 限于 视觉 或 听觉 
通道 ， 而 是 受到 一 般 性 的 注意 分 配 的 影响 。 另 一 
项 采用 双 任 务 范式 的 研究 让 被 试 同 时 进行 一 项 工 
作 记 忆 任 务 ,也 发 现 了 一 致 的 结果 (Buchan & 
Munhall, 2012)。 还 有 研究 在 呈现 面部 视觉 信息 时 ， 
同时 呈现 一 个 分 心 刺激 (一 片 叶 子 划 过 面部 )。 当 要 
求 被 试 忽略 面部 去 注意 分 心 刺激 时 ( 相 比 于 要 求 
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被 试 忽略 分 心 刺激 去 注意 面部 的 情况 )，McGurk 
效应 的 发 生 率 更 低 (Tiippana, Andersen, & Sams, 
2004). 

除了 注意 分 配 , 还 有 研究 探讨 了 预期 对 McGurk 
效应 的 影响 一 一 如 果 明 确 告 诉 被 试 接 下 来 呈现 视 
听 一 致 刺激 (但 实际 上 仍 会 包含 视听 不 一 致 的 
McGurk 刺激 )， 相 比 于 告知 被 试 视 听 刺 激 可 能 不 
一 致 的 情况 ，McGurk 效应 的 发 生 率 更 高 (Gau & 
Noppeney，2016)。 即 个 体 预期 视听 一 致 会 促进 
McGurk 效应 的 发 生 。 

综 上 所 述 , 在 McGurk 效应 的 个 体内 变异 研 
究 中 , 人 研究 者 更 多 关注 自 下 而 上 的 物理 刺激 因素 
对 McGurk 效应 的 影响 , 但 对 自 上 而 下 的 认 知 相 
关 因 素 关注 较 少 。 虽然 已 有 人 研究 探讨 注意 分 配 和 
预期 如 何 影响 McGurk 效应 , 但 这 一 方向 仍 有 和 较 
大 的 发 展 空间 。 未 来 可 以 考虑 探究 其 它 自 上 而 下 
的 认 知 因素 , 例如 个 体 的 情绪 状态 对 McGurk 效 
应 的 影响 一 一 在 不 同 的 情绪 状态 下 , 个 体 的 视听 
整合 或 许 会 发 生变 化 ,这 也 更 贴近 日 常 视听 言语 
感知 情景 。 

另 一 个 生活 中 常见 但 却 研究 较 少 的 问题 是 : 
面孔 本 身 的 社会 属性 如 何 影响 视听 言语 感知 。 我 


是 在 同样 的 测量 条 件 下 , 不同 个 体 的 McGurk 效 
应 发 生 率 仍 会 有 差异 的 现象 ( 即 在 被 试 间 设计 中 ， 
不 同 组 别 之 间 的 McGurk 效应 差异 )。 研 究 表明 ， 
虽然 McGurk 效应 在 不 同 测量 条 件 下 可 能 发 生 个 
体内 变异 , 但 如 果 测 试 条 件 相同 ,McGurk 效应 发 
生 率 在 个 体内 是 较 稳 定 的 。 对 同一 批 被 试 间隔 1 
年 的 两 次 同等 条 件 测 量 的 皮尔 逊 相关 为 0.91 
(Mallick et al., 2015); 另 一 项 间隔 2 个 月 的 测量 相 
关 为 0.77(Strand, Cooperman, Rowe, & Simenstad, 
2014)。 但 是 , McGurk 效应 在 不 同 个 体 间 就 没 那么 
稳定 了 .Mallick 等 人 (2015) 测 试 了 165 名 被 试 ， 结 
果 表 明 不 同 个 体 的 McGurk 效应 发 生 率 有 很 大 差 
异 (从 0% 到 100%)。 所 以 在 进行 组 间 比 较 时 , 人 研究 
者 应 谨慎 分 析 组 间 差 异 的 来 源 。 下 文 将 阐述 三 个 
可 能 与 McGurk 效应 个 体 间 变异 相关 的 因素 : 对 
视听 信息 的 依赖 程度 差异 、 视 听 整 合 能 力 及 其 发 
展 差 异 、 语 言 文化 差异 。 
3.2.1 ”对 视听 信息 的 依赖 程度 差异 

McGurk 效应 的 个 体 差 异 可 能 来 自 个 体 对 视 
觉 或 听觉 信息 的 依赖 程度 差异 一 一 对 视觉 信息 依 
赖 程度 高 的 个 体 更 容易 受到 视觉 信息 的 影响 ， 进 
而 发 生 更 多 McGurk 效应 ; 而 对 听觉 信息 依赖 程 


们 常常 与 不 同 的 人 交流 ， 而 不 同人 的 面孔 具有 不 
同 的 社会 属性 (面孔 情绪 、 吸 引力 、 重 要 性 、 熟 悉 
度 等 )， 这 与 视觉 言语 信息 加 工 可 能 发 生 交互 ， 进 
影响 言语 感知 。 有 研究 探讨 了 面孔 熟悉 度 、 以 
及 声音 面孔 是 否 匹 配对 McGurk 效应 的 影响 ， 结 
果 表 明 ， 当 声音 与 面孔 不 匹配 时 ， 对 面孔 熟悉 的 
被 试 感知 到 更 少 的 McGurk 效应 (Walker, Bruce, 
& O'Malley, 1995). 男 一 项 研究 发 现 ， 如 果 将 不 同 
情绪 的 声音 和 面部 一 起 呈现 ， 要 求 被 试 判断 声音 
的 情绪 ,那么 被 试 的 判断 会 受到 面部 情绪 的 影响 
而 产生 偏差 。 而 且 当 对 听觉 信息 的 性 别 进行 判断 
时 , 被 试 也 会 受到 视觉 信息 性 别 的 影响 (de Gelder 
& Vroomen，2000)。 所 以 , 我 们 有 理由 推测 ， 在 
McGurk 效应 中 ， 即 使 不 改变 视觉 信息 的 物理 特 
性 ,面孔 本 身 就 具有 的 社会 属性 也 可 能 影响 听觉 
感知 ， 这 值得 进一步 研究 。 最近, 我 们 尝试 探究 了 
与 奖赏 联结 的 面孔 如 何 影响 McGurk 效应 。 结 果 
RH, 相 比 于 没有 与 奖赏 联结 的 面孔 , 与 奖赏 联 
结 的 面孔 McGurk 效应 发 生 率 更 高 。 
3.2 ”影响 McGurk 效应 个 体 间 变异 的 因素 
McGurk 效 应 的 个 体 间 变异 ( 即 个 体 差 异 ) 指 的 


度 高 的 个 体 则 更 不 易 受 到 视觉 信息 影响 , McGurk 
效应 也 更 少 。 研究 发 现 , 高 水 平 音乐 家 (8~13 年 专 
业 音 乐 训练 ) 相 比 于 没有 音乐 训练 的 普通 人 McGurk 
效应 发 生 率 更 低 ， 这 可 能 是 因为 音乐 家 通过 长 大 
训练 培养 了 出 色 的 听 党 能力 使 其 更 倾向 于 使 用 听 
觉 信息 (Proverbio, Massetti, Rizzi, & Zani, 2016). 
另 一 项 研究 表明 ， 相 比 于 双眼 进行 McGurk 任务 
的 被 试 , 闭 上 一 只 有 眼睛 进行 任务 的 被 试 McGurk 
效应 发 生 率 更 低 (Moro & Steeves, 2018), 这 可 能 
是 因为 视觉 通道 部 分 受阻 之 后 , 个 体 对 听觉 通道 
的 依赖 程度 增加 。 还 有 研究 发 现 ,在 视听 言语 感 
知 任务 中 ,老年 人 更 容易 受到 视觉 信息 的 影响 ( 即 
老年 人 的 McGurk 效应 发 生 率 比 年 轻 人 高 ), 这 可 能 
是 因为 随 着 年 龄 的 增长 , 老年 人 的 听觉 机 能 退化 得 
比 视觉 快 ， 进 而 对 视觉 信息 的 依赖 增强 (Sekiyama， 
Soshi, & Sakamoto, 2014)。 

对 特殊 人 群 (高 自 闭 特质 者 、 听 力 受 损 者 、 视 
力 受 损 者 ) 的 McGurk 效应 研究 也 支持 上 述 观点 
( 即 对 视听 信息 的 依赖 程度 差异 可 能 造成 McGurk 
效应 的 个 体 间 变异 )。 研 究 发 现 ， 自 闭 症 谱系 障碍 
(autism spectrum disorder ASD) 的 儿童 在 面孔 记 
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IES LRM, 在 视听 言语 感知 任务 中 也 更 
少 受到 视觉 信息 的 影响 ， 即 McGurk 效应 发 生 率 
比 正常 儿童 低 (de Gelder, Vroomen, & van der Heide, 
1991)。 这 可 能 是 因为 ASD 儿童 加 工 面部 整体 信 
息 的 能 力 较 低 ,， 无 法 有 效 利用 视觉 信息 ( 即 对 视觉 
信息 依赖 程度 低 )。 也 有 研究 测量 了 被 试 的 自 闭 症 
谱系 商 数 (autism spectrum quotient, AQ), 结果 表 
明 , 高 AQ 者 的 McGurk 效 应 比 低 AQ 者 少 (Ujiie et 
al., 2018), Jf H. AQ 得 分 与 McGurk 效应 发 生 率 负 
相关 (Ujiie et al., 2015)， 即 自 闭 特质 越 高 , McGurk 
效应 发 生 率 越 低 , 这 也 与 上 述 de Gelder 等 人 (1991) 
的 结论 一 致 。 男 一 方面 ， 听力 受 损 者 (有 人 工 耳 蜗 
植 人 或 配备 有 助听器 ) 和 听力 正常 者 一 样 会 发 生 
McGurk 效应 , 但 是 听力 受 损 者 对 视觉 信息 的 依 
赖 程度 更 高 McGurk 效应 发 生 率 也 更 高 (Rouger, 
Fraysse, Deguine, & Barone, 2008)。 这 一 结果 在 听 
力 受 损 儿 童 中 得 到 了 重复 ( 石 涯 , EKE, EH, 
2016)。 此 外 ,听力 受 损 者 的 McGurk 效应 会 受到 
手语 的 影响 : 如 果 和 手语 和 层 形 一 致 (但 与 声音 不 一 
致 )， 则 他 们 更 容易 报告 听 到 视觉 信息 的 音节 ( 手 
TEE CIES IZ), 这 提示 他 们 在 视听 感知 中 非常 依赖 视 
觉 信 息 (Bayard，Colin, & Leybaert，2014)。 最 后 ， 
视力 受 损 者 (从 小 失去 了 一 只 有 眼睛) 的 McGurk 效 
应 发 生 率 低 于 单眼 (或 双眼 ) 进 行 任务 的 视力 正常 
者 (Moro & Steeves，2018)， 这 可 能 是 因为 视力 受 
损 者 更 倾向 于 依赖 听觉 信息 。 

总 体 而 言 , 不 同人 群 之 间 的 比较 均 体现 了 视 
听信 息 依赖 程度 对 McGurk 效应 的 影响 。 然 而 ,组 
间 比 较 存 在 的 问题 是 : 除了 视听 信息 依赖 程度 的 
差异 , McGurk 效应 还 可 能 受到 其 它 人 群 间 差异 的 
影响 。 所 以 ,未 来 研究 可 考虑 直接 操纵 影响 视听 
言 息 依赖 程度 的 因素 ,提供 更 完善 的 因果 关系 证 
据 。 例 如 : 可 以 考虑 将 Moro 和 Steeves (2018) 的 
研究 修改 为 组 内 设计 ， 即 比较 同一 组 个 体 在 单眼 
进行 任务 和 双眼 进行 任务 时 的 McGurk 效应 发 生 
率 。 也 可 以 考虑 进行 纵向 追踪 研究 (例如 : 比较 乐 
器 学 习 者 学 习 乐 器 前 后 的 McGurk 效应 差异 )。 
3.2.2 ”视听 整合 能 力 及 其 发 展 差异 

个 体 在 分 别 接收 视听 信息 后 对 二 者 的 整合 
( 即 视听 整合 ) 能 力 的 差异 也 可 能 与 McGurk 效应 
的 个 体 差异 有 关 。 整 合 能 力 较 强 者 可 能 更 容易 发 
AE McGurk 效应 。 相对 的 ， 整合 能 力 较 弱者 McGurk 
效应 更 少 。 研 究 表明 ,视听 整合 时 间 窗 的 范围 大 


小 存在 个 体 间 差异 ， 并 在 一 定 程度 上 反映 了 视听 
整合 能 力 (Stevenson et al., 2012) 一 一 个 体 整 合 时 
间 窗 边界 越 靠 右 ( 即 在 仍 能 发 生 整 合 的 情况 下 , 视 
觉 刺 激 呈 现 后 ， 听 觉 刺激 呈 现 得 越 晚 ; 也 即 整合 
时 间 窗 的 范围 越 大 )， 该 个 体 发 生 McGurk 效应 的 
可 能 性 也 越 大 (Stevenson et al.，2012)， 即 视听 整 
合 能 力 越 强 的 个 体 ， 越 容易 发 生 McGurk 效应 。 

关于 McGurk 效应 的 发 展 研究 也 文 持 上 述 观 
点 ( 即 视 听 整 合 能 力 差异 是 造成 McGurk 效应 个 体 
间 变 异 的 因素 之 一 )。 研 究 表明 ，12 岁 前 儿童 的 
McGurk 效应 发 生 率 比 成 人 低 (Hockley & Polka, 
1994; McGurk & MacDonald, 1976), 这 可 能 是 因 
为 儿童 的 视听 整合 能 力 尚 在 发 展 中 ( 较 低 )， 而 成 
人 的 视听 整合 能 力 已 经 发 展 成 熟 ( 较 高 )。 不 过 ， 即 
使 是 4-5 个 月 大 的 还 未 学 会 说 话 的 婴儿 就 已 经 会 发 
生 McGurk 效应 (Burnham & Dodd, 2004; Rosenblum 
et al., 1997)。 即 婴儿 在 学 会 说 话 前 ,视听 整合 能 力 
就 已 经 开始 发 展 ,而 且 大 约 12 岁 左右 就 能 发 展 到 
成 人 水 平 。 所 以 儿童 与 成 人 的 McGurk 效应 差异 
可 能 就 是 来 自视 听 整 合 能 力 的 差异 。 

综 上 所 述 , 个 体 整 合 能 力 越 强 、 发 展 越 完善 ， 
McGurk 效应 就 越 强 。 然 而 ,大 部 分 研究 都 以 
McGurk 效应 本 身 作为 视听 整合 能 力 的 指标 ， 很 
少 有 研究 利用 别 的 指标 测量 视听 整合 能 力 ， 并 与 
McGurk 效应 的 测量 结果 相 比 较 。 所 以 , 视听 整合 
能 力 与 McGurk 效应 的 关系 还 需要 进一步 探究 。 
这 样 一 方面 有 助 于 确认 视听 整合 能 力 差异 是 否 确 实 
是 McGurk 效应 个 体 间 变 异 的 来 源 ， 另 一 方面 有 助 
于 确认 利用 McGurk 范式 探究 视听 整合 的 有 效 性 。 
值得 注意 的 是 , 最 近 有 研究 发 现 : 个 体 在 噪声 中 利 
用 视觉 信息 辅助 听觉 理解 句子 的 能 力 (也 常 被 视 为 
视听 整合 能 力 的 指标 ) 与 个 体 的 McGurk 效应 发 生 率 
没有 显著 相关 (Van Engen, Xie, & Chandrasekaran, 
2017)。 这 进一步 警示 我 们 , McGurk 效应 发 生 率 与 
视听 整合 能 力 的 关系 需要 更 细致 的 探讨 。 未 来 研 
究 应 该 采用 更 多 指标 (例如 上 文 提 到 的 视听 整合 
时 间 窗 大 小 、 对 视听 刺激 的 反应 时 、 以 及 其 它 视 
听 整 合 相关 任务 等 ) 评 价 视听 整合 能 力 ， 并 探究 这 
些 指标 与 McGurk 效应 的 关系 。 

值得 一 提 的 是 ， 上 述 视听 整合 能 力 的 发 展 情 
况 在 汉语 母语 儿童 中 有 不 一 致 的 结果 。 研 究 发 现 
汉语 母语 的 二 年 级 、 五 年 级 小 学 生 以 及 一 年 级 大 
学 生 都 表现 出 McGurk 效应 , 但 这 三 类 人 之 间 的 
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McGurk 效应 发 生 率 没有 差异 ， 即 没有 表现 出 上 
述 英语 母语 者 的 发 展 趋势 ( 李 燕 芳 , Hah, BEAT, 
2008)。 后 续 研 究 发 现 ,汉语 母语 儿童 在 视听 不 一 
致 、 视 听 一 致 、 单 独 听觉 条 件 下 ,判断 声音 刺激 
的 正确 率 没 有 差异 ; 但 是 汉语 母语 大 学 生 在 视听 
不 一 致 条 件 下 正确 率 低 于 单独 听觉 和 视听 一 致 条 
件 ， 即 成 人 更 容易 受 视觉 信息 影响 ( 李 燕 芳 ,， 梅 短 
舌 ， 董 奇 , 2009)。 这 又 与 英语 母语 者 的 研究 结果 一 
致 。 这 些 研 究 体现 出 了 语言 文化 差异 与 视听 整合 
能 力 发 展 的 交互 。 下 文 将 对 语言 文化 差异 的 影响 
进行 详细 阐述 。 
3.2.3 ”语言 文化 差异 

McGurk 效应 是 一 种 言语 感知 现象 ， 具有 不 
同文 化 背景 (使 用 不 同 母语 ) 的 人 在 McGurk 效应 
上 可 能 存在 差异 ， 即 语言 文化 差异 也 是 造成 
McGurk 效应 个 体 间 变异 的 因素 之 一 。 研 究 发 现 日 
语 母 语 者 的 McGurk 效应 发 生 率 比 英语 母语 者 低 
(Hisanaga, Sekiyama, Igasaki, & Murayama, 2016; 
Sekiyama & Tohkura, 1993)。 这 可 能 是 由 于 日 语 母 
语 者 相 比 于 英语 母语 者 更 少 受 到 面部 视觉 信息 的 
影响 。 在 日 本 文化 中 , 注视 别人 面部 是 不 礼貌 的 ， 
所 以 日 本 人 在 面对面 交流 中 更 倾向 于 使 用 听觉 信 
息 ,而 不 是 视觉 信息 。 后 续 研究 还 发 现 汉 语 母 语 
者 的 McGurk 效应 发 生 率 也 比 英 语 母 语 者 低 
(Sekiyama, 1997)。 

不 过 ,也 有 研究 者 没有 发 现 汉语 、 英 语 母语 
者 之 间 的 McGurk 效应 差异 (Magnotti, Mallick, 
Feng, Zhou, Zhou, & Beauchamp, 2015)。 他 们 认为 
McGurk 效应 本 身 就 有 较 大 的 个 体 差异 , 组 间 比 
较 的 样本 不 宜 太 少 ， 于 是 采用 较 大 样本 (307 A), 
较 多 McGurk 刺激 (9 个 ) 进 行 测量 。 结 果 表 明 
McGurk 效应 发 生 率 在 汉语 、 英 语 母语 者 人 群 内 部 
较 大 的 个 体 差异 , 但 在 两 类 人 和 群 之 间 整 体 而 言 
没有 显著 差异 。 

除了 McGurk 效应 发 生 率 的 差异 ,不 同 语言 
文化 背景 还 可 能 影响 个 体 在 发 生 McGurk 效应 时 
感知 到 的 音节 类 型 。 研 究 发 现 ， 对 于 经 典 的 
McGurk 刺激 (视觉 “ga”" 听 觉 <ba”), 英语 母语 者 更 
多 报告 感知 到 “tha”， 而 日 语 母 语 者 更 多 报告 感知 
到 “da”。 这 可 能 与 母语 差异 有 关 日 语 中 并 没 
有 “th” 的 发 音 ， 而 英语 日 常生 活 中 “tha” 的 发 音 多 
于 “da” 的 发 音 (Burnham & Dodd, 2018)。 

总 体 而 言 ， 语 言 文化 差异 影响 McGurk 效应 


发 生 率 的 研究 结果 不 一 致 。 其 中 获得 阳性 结果 的 
研究 样本 量 较 小 ， 而 大 样本 研究 没有 发 现 显 著 差 
异 。 考 虑 到 McGurk 效应 发 生 率 本 身 具 有 较 大 的 
个 体 差 异 ， 所 以 语言 文化 因素 究竟 是 不 是 
McGurk 效应 个 体 差异 的 来 源 , 仍旧 存疑 。 一 种 解 
释 是 : 语言 文化 差异 确实 会 对 视听 言语 感知 产生 
影响 (例如 上 文 提 到 的 音节 感知 类 型 差异 )， 只 是 
对 McGurk 效应 发 生 率 的 影响 不 够 明显 。 这 可 能 
是 因为 不 同 语言 文化 背景 者 对 McGurk 刺激 的 加 
工 趋 于 某 个 相似 的 “ 阅 限 ”一 一 有 研究 表明 ， 即 使 
McGurk 效应 没有 发 生 ,， 视觉 信息 也 已 经 对 听觉 
感知 产生 了 影响 (Brancazio & Miller, 2005)。 所 以 
McGurk 效应 的 发 生 可 能 是 连续 的 过 程 ,视觉 信 
息 的 影响 需要 达到 一 定 程度 才 会 产生 效应 ( 即 存 
在 某 个 “ 阅 限 ”)。 在 世界 文化 交融 的 当今 社会 各 
司 大 学 生 被 试 在 视听 言语 感知 中 对 视觉 信息 的 加 
工 越 来 越 相 似 ， 即 达到 McGurk“ 阅 限 ” 的 程度 越 来 
越 相 似 ， 故 难以 体现 出 文化 差异 。 所 以 未 来 研究 
除了 考虑 扩大 样本 量 之 外 ,还 应 该 选取 更 为 典型 
的 语言 文化 群体 (而 不 是 容易 接触 到 不 同文 化 的 
大 学 生 群 体 ), 或 许 会 有 进一步 发 现 。 


4 McGurk 效应 的 认 知 神经 机 制 


4.1 McGurk 效应 的 眼 动 模式 

动态 人 脸 是 一 种 包含 很 多 信息 的 复杂 刺激 ， 
那么 导致 McGurk 效应 发 生 的 视觉 信息 究竟 是 人 
脸 的 什么 信息 ?研究 者 们 尝试 采用 眼 动 实验 来 探 
究 此 问题 。 目 前 的 研究 结果 提示 : 引发 McGurk 效 
应 的 视觉 信息 主要 来 自 人 脸 的 嘴 部 区 域 。 但 对 嘴 
部 的 直接 注视 不 是 引起 McGurk 效 应 的 必要 条 件 。 
除 嘴 部 之 外 ， 面 部 的 其 它 区 域 同样 能 提供 少量 但 
有 效 的 视觉 言语 信息 ， 进 而 引发 McGurk 效应 。 

在 言语 感知 中 ,视觉 言语 信息 主要 来 自 嘴 部 
区 域 的 运动 。 所 以 引发 McGurk 效应 的 视觉 信息 
也 主要 来 自 嘴 部 区 域 。 有 人 研究 探讨 了 眼 动 模式 的 
个 体 差异 与 McGurk 效应 个 体 差异 的 关系 。 结 果 
表明 ， 容 易 产生 McGurk 效应 的 个 体 看 嘴 部 区 域 
的 时 间 更 长 ， 且 看 嘴 部 区 域 的 时 间 与 McGurk 效 
应 发 生 率 正 相关 (Gurler et al., 2015)。 类 似 的 ， FE 
语 母语 者 的 McGurk 效应 发 生 率 比 日 语 母 语 者 高 ， 
而 英语 母语 者 看 嘴 部 区 域 的 时 间 也 更 长 (Hisanaga 
et al., 2016)。 男 一 方面 , 采用 双 任 务 范式 的 研究 发 
W, 相 比 于 单 任务 条 件 , 在 双 任 务 条 件 下 McGurk 
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效应 发 生 率 更 低 ,， 并 且 被 试 对 视觉 刺激 的 面部 区 
域 注视 更 少 ， 对 嘴 部 区 域 的 注视 也 更 少 (Buchan 
& Munhall, 2012)。 

但 是 ， 也 有 不 一 致 的 结果 人 研究 发 现 ， 被 
试 是 否 看 嘴 部 区 域 与 McGurk 效应 的 变化 并 没有 
关系 (Hisanaga et al., 2016; Paré, Richler, ten Hove, 
& Munhall, 2003; Wilson et al., 2016)。 这 提示 对 嘴 
部 区 域 的 中 央视 野 加 工 对 McGurk 效应 的 发 生 并 
不 是 必须 的 , 外 周 视野 就 能 获取 足够 诱发 McGurk 
效应 的 嘴 部 视觉 言语 信息 。 例如 : Paré 等 人 (2003) 
进行 的 一 系列 实验 发 现 , McGurk 效应 的 感知 与 个 
体 注 视点 是 否 在 嘴 部 区 域 没 有 相关 。 他 们 还 直接 
控制 了 个 体 的 注视 点 位 置 ， 结 果 表 明 ， 只 要 个 体 
的 注视 点 还 在 面部 区 域内 , 无论 是 注视 嘴 部 、 眼 
睛 、 还 是 额头 ， 都 不 影响 McGurk 效应 发 生 率 。 只 
有 当 个 体 注 视点 离开 嘴 部 区 域 10"~20" 时 ，McGnurk 
效应 才 会 显著 减少 (但 仍然 存在 )， 只 有 离开 嘴 部 
区 域 60" 以 上 , McGurk 效应 才 会 完全 消失 。 

考虑 到 上 述 不 一 致 的 研究 结果 ， 嘴 部 区 域 注 
视 时 间 与 McGurk 效应 发 生 率 的 关系 还 需要 进 一 
步 探究 。 已 有 研究 结果 不 一 致 可 能 有 两 个 原因 : 
(1) 不 同 研究 之 间 使 用 的 研究 范式 或 分 析 方 法 不 
同 。 例 如 : Buchan 和 Munhall (2012) 比 较 的 是 双 
任务 和 单 任务 条 件 下 的 人 群 内 差异 ; Gurler 等 人 
(2015) 比 较 的 是 自由 注视 状态 下 的 人 群 间 差异 ; 
Paré 等 人 (2003) 的 研究 不 是 自由 注视 (他 们 尝试 控 
制 被 试 的 注视 位 置 ), 并 且 记 录 眼 动 的 方法 与 其 他 
研究 不 同 (使 用 粘 附 人 有 眼 角膜 的 感应 线圈 ， 而 非 其 
他 研究 常用 的 红外 捕 提 技 术 )。 以 上 实验 设计 或 操 
作 上 的 差异 都 可 能 导致 研究 之 间 结 果 不 同 。(2) 不 
同 研 究 之 间 的 兴趣 区 划分 方法 存在 差异 。 例 如 
Gurler 等 人 (2015) 以 及 Buchan 和 Munhall (2012) 
采用 的 是 方形 兴趣 区 ,而 Wilson 等 人 (2016) 则 采 
用 圆 形 兴趣 区 ,这 也 可 能 影响 注视 时 间 的 结果 。 

除了 嘴 部 区 域 ， 面 部 其 它 区 域 同样 能 提供 足 
以 诱发 McGurk 效应 的 视觉 言语 信息 。 研 究 发 现 ， 
即使 不 呈现 嘴 部 区 域 (将 视频 沿 对 角 线 切 分 ， 只 号 
现 没有 嘴 部 的 那 一 部 分 ; 或 将 视频 沿 水 平 中 轴 切 
分 ， 只 呈现 上 半 部 分 ) McGurk 效应 也 不 会 完全 消 
失 (Jordan & Thomas, 2011)。 在 使 用 其 它 范式 的 视 
听 整 合 研究 中 也 发 现 了 类 似 的 效应 即使 消除 
嘴 部 运动 信息 (只 留 下 面部 其 它 区 域 的 运动 信息 )， 
视听 整合 仍然 会 发 生 (Thomas & Jordan, 2004). i# 


憾 的 是 ， 这 些 研究 均 没有 采用 眼 动 技术 。 而 在 其 
它 采 用 眼 动 技术 的 McGurk 效应 研究 中 ,人 研究 者 
都 只 关注 了 嘴 部 以 及 眼睛 区 域 , 忽略 了 面部 其 它 
区 域 。 所 以 未 来 研究 除了 关注 嘴 部 区 域 , 还 应 该 
比较 面部 其 它 区 域 的 眼 动 差异 (例如 段子、 脸颊 等 
嘴 部 周边 区 域 。 即 在 保证 兴趣 区 大 小 基本 一 致 的 
前 提 下 ,尽量 让 所 有 兴趣 区 覆盖 整个 面部 区 域 )。 
这 可 能 为 我 们 进一步 理解 McGurk 效应 提供 证 据 。 
例如 : 我 们 最 近 的 一 项 研究 表明 , 与 奖赏 联结 的 
面孔 ( 相 比 于 未 与 奖赏 联结 的 面孔 ) 发 生 更 多 
McGurk 效应 ， 且 被 试 对 其 嘴 部 周边 区 域 (鼻子 、 
脸颊 ) 的 注视 时 间 更 长 、 注 视点 个 数 更 多 ; 但 对 嘴 
部 区 域 的 注视 时 间 却 反而 更 短 、 注 视点 个 数 更 少 。 
该 结果 也 支持 了 上 文 提 到 的 推论 (面部 其 它 区 域 
也 能 提供 有 效 的 视觉 言语 信息 ; 而 对 嘴 部 区 域 的 
注视 不 是 发 生 McGurk 效应 的 必要 条 件 )。 
4.2 McGurk 效应 的 加 工 阶 段 

大 脑 接 收 了 视听 信息 的 输入 之 后 ,开始 对 其 
进行 整合 加 工 。 此 时 涉及 的 问题 是 : 大 脑 在 接收 
刺激 后 的 不 同 阶段 里 如 何 加 工 视听 刺激 ， 进 而 产 
HE McGurk 效应 ?研究 者 们 尝试 用 具有 和 较 高 时 间 
分 辩 率 的 脑 电 技术 (electroencephalogram，EEG) 或 
是 脑 磁 图 技术 (magnetoencephalography，MEG) 回 
答 该 问题 。 目 前 的 研究 结果 提示 : 对 视听 信息 的 
整合 发 生 在 加 工 早 期 阶段 ;而 在 加 工 晚期 阶段 ， 
大 脑 会 尝试 解决 McGurk 刺激 的 视听 不 一 致 冲突 。 

RÆ McGurk 效应 时 ,视听 整合 过 程 在 加 工 
早期 就 已 经 发 生 。 研 究 发 现 ， 对 于 McGurk 刺激 而 
言 ， 当 发 生 McGurk 效应 时 ,，N1 波幅 相 比 于 视听 
一 致 刺激 更 小 ; 而 且 相 比 于 没有 发 生 McGurk 2 
应 的 McGurk 刺激 也 更 小 (Romero,，Senkowski, & 
Keil, 2015)。N1 主要 由 听觉 刺激 造成 。 相 比 于 单 
独 听 和 觉 刺 激 ， 视听 刺激 引发 的 N1 波幅 更 小 , 这 可 
能 反映 了 视听 整合 过 程 中 视觉 信息 利用 率 的 增加 
(Besle, Fort, Delpuech, & Giard, 2004)。 所以, 发 生 
McGurk 效应 时 的 N1 波幅 降低 可 能 提示 了 此 时 视 
觉 信息 对 听觉 信息 的 影响 更 明显 。 而 且 N1 是 事 
件 相 关 电 位 (event related potential, ERP) 的 第 一 个 
HI, 这 也 提示 这 种 影响 发 生 在 加 工 早 期 阶段 。 
神经 振荡 结果 也 表明 ， 当 McGurk 效应 发 生 时 ， 
Beta 频段 的 抑制 相 比 于 视听 一 致 的 刺激 在 加 工 早 
期 (0~500 ms) 更 强 (Romero et al., 2015)。 这 与 上 
述 N1 结果 类 似 , 提示 了 McGurk 效应 的 发 生 ( 相 
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比 于 视听 一 致 的 情况 ) 需 要 更 强 的 视听 整合 ， 而 且 
这 种 整合 在 加 工 早期 就 已 经 发 生 。 

采用 oddball 范式 进行 的 研究 也 支持 McGurk 
效应 中 的 视听 整合 过 程 发 生 在 加 工 早期 的 观点 。 
这 类 研究 将 视听 一 致 刺激 作为 标准 刺激 , McGurk 
刺激 作为 偏差 刺激 ， 比 较 McGurk 刺激 和 视听 一 
致 刺激 的 ERP。 结 果 表明 ,在 早期 加 工 阶段 (听觉 
刺激 呈现 后 200~300 ms), McGurk 刺激 会 诱发 失 
匹配 负 波 (mismatch negativity, MMN) (Saint- 
Amour, De Sanctis, Molholma, Ritter, & Foxe, 
2007). MMN 反映 了 对 出 现 频率 较 低 的 新 异 听 觉 
刺激 的 探知 ; 反映 了 大 脑 将 当前 听觉 刺激 与 之 前 
的 一 系列 听觉 刺激 进行 比较 的 加 工 过 程 。 当 听觉 
感知 改变 时 ， 就 会 产生 MMN。 因 此 , MMN 可 以 
作为 听觉 辨别 能 力 的 电 生理 指标 。MMN 和 常 由 听 
觉 刺 激 的 物理 属性 改变 而 诱发 。 不 过 , 对 McGurk 
刺激 而 言 ， 听觉 刺 激 的 物理 属性 没有 发 生变 化 ， 
但 主观 感知 变化 也 引起 了 MMN, 这 被 称 为 
McGurk-MMN。McGurk-MMN 在 很 多 研究 中 得 到 
了 重复 (Colin et al., 2002; Colin, Radeau, Soquet, & 
Deltenre, 2004; Eskelund, MacDonald, & Andersen, 
2015)。 这 提示 在 加 工 McGurk 刺激 的 早期 阶段 ， 
个 体 就 已 经 感知 到 了 新 异 的 听觉 刺激 (虽然 听觉 
刺激 的 物理 属性 实际 上 并 没有 改变 )， 即 视听 整合 
已 经 发 生 了 ( 辛 昕 , FEES, FEK, ERN, 
2017)。 采 用 类 似 oddball 范式 的 MEG 研究 也 表明 ， 
RÆ McGurk 效应 时 , 在 早期 加 工 阶段 (听觉 刺激 
呈现 后 160 ms 以 及 270 ms), 不 同 脑 区 的 Gamma 
振荡 活动 会 增强 (Kaiser,，Hertrich,，Ackermann, 
Mathiak, & Lutzenberger，2005)。 而 Gamma 神经 
振荡 与 信息 整合 加 工 有 关 ( 钱 浩 悦 ， 黄 逸 慧 ， 高 湘 
萍 ，2018)。 这 与 上 述 McGurk-MMN 的 结果 类 似 ， 
即 此 时 视听 整合 已 经 开始 发 生 , 大 脑 探 测 到 了 听 
觉 信 号 的 “改变 ”( 实 际 上 是 主观 感受 改变 , 物理 
刺激 并 没有 变化 )。 

在 上 述 McGurk-MMN 的 相关 研究 中 (采用 
oddball 范式 ), 研究 者 主要 比较 了 McGurk 刺激 
(偏差 刺激 ) 与 视听 一 致 刺激 (标准 刺激 ) 的 差异 , 但 
是 这 类 研究 忽略 了 以 下 问题 : 此 时 产生 的 MMN 
究竟 是 由 于 听觉 感知 发 生 改 变 ， 还 是 由 于 视觉 信 
息 与 听觉 信息 不 一 致 y 所 以 , 在 未 来 的 相关 研究 
中 应 该 考虑 加 入 一 组 对 照 条 件 一 一 将 视听 一 致 刺 
激 作 为 标准 刺激 .视听 不 一 致 旦 不 会 诱发 McGurk 


效应 的 刺激 作为 偏差 刺激 。 依 据 听 觉 感知 发 生 改 
变 才 会 发 生 MMN 的 假设 , 这 种 情况 下 的 视听 不 
一 致 刺激 相 比 于 视听 一 致 刺激 应 该 不 会 产生 
MMN。 这 一 推论 值得 进一步 探究 。 

在 加 工 的 相对 晚期 阶段 (上 述 视听 整合 过 程 
已 经 开始 之 后 )， 大 脑 会 尝试 解决 视听 不 一 致 冲突 
(McGurk 刺激 的 视听 信息 实际 上 是 不 一 致 的 ， 所 
以 可 能 发 生 冲 突 ), 研究 表明 ,在 刺激 呈现 后 500~ 
800 ms, McGurk 刺激 相 比 于 视听 一 致 刺激 有 更 强 
的 Beta 频段 抑制 。 依 据 已 有 研究 ,视听 不 一 致 刺 
激 的 Beta 频段 抑制 比 视听 一 致 刺激 强 (Lange， 
Christian, & Schnitzler, 2013)， 这 可 能 反映 了 视听 
不 一 致 的 冲突 效应 以 及 自 上 而 下 的 冲突 解决 过 
程 。 即 大 脑 可 能 在 加 工 的 相对 晚期 阶段 才 探 测 到 
视听 不 一 致 冲突 ， 尝试 解决 。 另 一 方面 , 采用 
oddball 范式 的 MEG 研究 也 表明 ,发生 McGurk 
效应 时 ， 加工 晚 期 的 Gamma 频段 活动 会 增强 ， 这 
也 提示 了 与 听觉 信息 不 一 致 的 视觉 信息 对 听觉 感 
知 的 影响 (Kaiser et al., 2005)。 有 趣 的 是 ， 即 使 被 
试 报告 感知 到 视听 不 一 致 , McGurk 效应 仍 会 发 生 
(Soto-Faraco & Alsius, 2009)。 这 提示 ， 即 使 视听 
不 一 致 冲突 没有 解决 ， 视听 整合 也 会 发 生 ,， 二 者 
是 相对 独立 的 过 程 。 

4.3 McGurk 效应 的 相关 脑 区 

除了 时 间 进 程 问题 ,在 大 脑 加 工 McGurk 刺 
激 的 过 程 中 ,， 另 一 个 重要 问题 是 : 哪些 脑 区 参与 
了 加 工 以 及 这 些 脑 区 起 何 作 用 ? 研究 者 们 尝试 用 
具有 较 高 空间 分 辩 率 的 功能 性 磁 共振 成 像 技术 
(functional magnetic resonance imaging, fMRI)、 经 
颅 磁 刺激 技术 (transcranial magnetic stimulation, 
TMS) 和 MEG 回答 此 问题 。 目 前 的 研究 结果 提示 : 
mi EJA (superior temporal cortex) 与 视听 整合 过 
程 相关 ; 额 下 皮层 (inferior frontal cortex) 与 视听 
不 一 致 冲突 相关 。 

在 发 生 McGurk 效应 的 过 程 中 , 杜 上 皮层 与 
视听 整合 密切 相关 (Beauchamp et al., 2010; Miller 
& D'Esposito, 2005; Nath & Beauchamp, 2012)。 早 
期 fMRI 研究 表明 , 相 比 于 没有 发 生 McGurk 效 应 ， 
当 发 生 McGurk 效应 时 ， 颗 上 皮层 的 激活 更 强 
(Jones & Callan, 2003)。 对 McGurk 效应 个 体 差 异 
的 神经 基础 研究 发 现 , McGurk 效应 发 生 率 在 50% 
以 上 的 被 试 ( 强 McGurk 感知 者 ) 相 比 于 发 生 率 在 
50% 以 下 的 被 试 ( 弱 McGurk BAA), AW a 
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(left superior temporal sulcus, 1STS) 的 激活 更 强 ， 
且 其 激活 程度 与 McGurk 效应 发 生 率 有 显著 正 相 
关 (Nath & Beauchamp, 2012)。 该 结果 在 6~12 岁 儿 
童 的 研究 中 得 到 了 重复 (Nath, Fava, & Beauchamp, 
2011)。 更 重要 的 是 ，Beauchamp 等 人 (2010) 使 用 
fMRI 技术 定位 每 个 被 试 的 STS, 之 后 使 用 TMS 
抑制 STS 的 激活 ,结果 表明 , 使 用 TMS 刺激 STS 
之 后 ,被 试 的 McGurk 效 应 发 生 率 降低 了 , 但 是 对 
一 般 视听 材料 的 判断 不 受 影响 。 类 似 的 , Marques, 
Lapenta, Merabet, Bolognini 和 Boggio (2014) 使 用 


对 McGurk 效应 个 体 差异 的 神经 基础 研究 也 发 现 ， 
相 比 于 视听 一 致 刺激 , 额 下 回 (inferior frontal gyrus, 
IFG) 对 视听 不 一 致 刺激 (包括 McGurk 刺激 ) 的 激 
活 更 强 。 但 是 IFG 的 激活 在 强 McGurk 感知 者 和 
弱 McGurk 感知 者 之 间 没 有 差异 。 人 研究 者 由 此 推 
Wi: IFG 可 能 与 视听 不 一 致 冲突 有 关 , 但 与 视听 整 
合 过 程 关 系 不 大 (Nath & Beauchamp, 2012)。 还 有 
研究 发 现 ， 相 比 于 没有 发 生 McGurk 效应 的 情况 ， 
当 发 生 McGurk 效应 时 , IFG 的 激活 更 强 。 而且 与 冲 


经 颅 电 刺激 技术 (transcranial direct current stimulation) 
刺激 STS, 也 得 到 了 与 Beauchamp 等 人 (2010) 一 
致 的 结果 ,在 EEG 研究 中 , Saint-Amour 等 人 (2007) 
对 上 文 提 到 的 McGurk-MMN 进行 了 溯源 分 析 ， 
发 现 了 左 侧 杜 叶 皮 层 的 主导 效应 。MEG 研究 也 发 
现 , 在 发 生 McGurk 效应 之 前 会 伴随 着 多 个 脑 区 的 
神经 振荡 ,尤其 是 左 侧 里 上 回 (left superior temporal 
gyrus) 的 Beta 神经 振荡 , 人 研究 者 认为 这 提示 了 视 
听 整 合 的 过 程 (Keil, Müller, Ihssen, & Weisz, 2012)。 
McGurk 效应 与 里 上 皮层 的 关系 研究 结果 较 
为 一 致 ,但 仍 有 进一步 探索 的 空间 。 最 近 , 一 项 视 
听 整 合 的 研究 发 现 ，STS 对 视听 整合 的 反应 可 以 
再 细 分 : STS 的 某 些 体 素 (voxels) 对 面孔 的 嘴 部 运 
动 更 敏感 ， 而 男 一 些 体 素 对 面孔 的 眼 部 运动 更 敏 
感 。 当 视听 信息 呈现 时 , STS 激活 ， 且 只 有 对 嘴 部 
运动 敏感 的 体 素 会 对 听觉 刺激 有 较 强 的 反应 。 这 
提示 STS 脑 区 在 整合 视听 信息 的 过 程 中 ， 视觉 和 
听觉 信息 都 会 一 起 加 工 , 但 是 对 整合 影响 较 大 的 
视觉 信息 (例如 嘴 部 运动 ) 相 比 于 对 整合 影响 较 小 
的 视觉 信息 (例如 眼 部 运动 ) 在 其 中 的 加 工 方式 可 
能 不 同 (Zhu & Beauchamp, 2017). 该 研究 提示 ， 对 
McGurk 效应 而 言 , STS 的 激活 也 可 能 有 类 似 的 效 
应 (例如 : 对 嘴 部 运动 敏感 的 体 素 或 许可 以 预测 
McGurk 效应 发 生 与 否 ， 而 对 有 眼 部 运动 敏感 的 体 
素 则 不 能 )。 未 来 值得 从 细 分 脑 区 激活 模式 的 角度 
进一步 探讨 STS 在 McGurk 效应 中 的 作用 。 
除了 杜 上 皮层 ， 另 一 个 备 受 关注 的 McGurk 
效应 相关 脑 区 是 额 下 皮层 。 该 脑 区 与 视听 不 一 致 
WRA X (Fernández et al., 2017; Gau & Noppeney, 
2016; Nath & Beauchamp, 2012)。 在 早期 的 McGurk 
效应 fMRI 研究 中 就 发 现 了 额 下 皮层 的 激活 (Jones 
& Callan, 2003)。 在 MEG 研究 中 也 发 现 了 左 侧 额 
下 皮层 的 神经 振荡 活动 增强 (Kaiser et al., 2005). 


突 探 测 相 关 的 脑 区 一 一 前 扣 带 回 (anterior cingulate 
cortex, ACC) 的 激活 也 更 强 (Fernindez et al., 2017). 
这 也 提示 了 McGurk 效应 中 存在 视听 不 一 致 冲突 
的 过 程 。 

Gau 和 Noppeney (2016) 的 人 研究 也 涉及 额 下 
层 激活 模式 与 McGurk 效应 的 关系 , 但 与 上 述 
Fernandez 等 人 (2017) 的 研究 结果 不 一 致 。 具 体 而 
言 , Gau 和 Noppeney (2016) 使 用 fMRI 探究 预期 
对 McGurk 效应 的 影响 ,在 该 研究 中 , 研究 者 明确 
告诉 被 试 这 一 组 刺激 的 视听 信息 是 一 致 还 是 不 一 
致 ( 即 “ 告 知 一 致 * 和 “告知 不 一 致 * 条 件 )。 结果 表明 ， 
相 比 于 告知 不 一 致 条 件 , 在 告知 一 致 条 件 下 ， 被 
试 的 McGurk 效应 发 生 率 更 高 ( 即 被 试 预期 刺激 是 
视听 一 致 时 更 容易 发 生 McGurk 效应 )。 在 神经 层 
面 ， 左 额 下 沟 (left inferior frontal sulcus, lIFS) 在 视 
听 不 一 致 时 ( 相 比 于 视听 一 致 ) 激 活 更 强 ， 这 与 上 
IÈ Fernandez 等 人 (2017) 的 结果 相似 。 但 当 被 试 发 
H T McGurk 效应 ( 相 比 于 没有 发 生 McGurk 效应 ) 
时 , IFS 激活 减弱 。 而 且 ， 这 种 效应 在 被 试 预期 视 
听 一 致 (发 生 更 多 McGurk 效应 ) 时 比 预期 视听 不 
一 致 (发 生 更 少 McGurk 效应 ) 时 更 明显 。 这 似乎 与 
Fernandez 等 人 (2017) 的 结果 相反 一 一 Fernindez 
等 人 (2017) 发 现 : RÆ McGurk 效应 时 ，IFG 激活 
更 强 。 

即使 有 不 一 致 的 研究 结果 ， 仍 可 以 肯定 的 
fe: 额 下 皮层 在 McGurk 效应 中 与 视听 不 一 致 冲 
突 有 关 。 只 是 目前 还 需要 进一步 探究 其 激活 模式 。 
上 述 研究 结果 不 一 致 可 能 有 三 个 原因 : (1) 两 项 研 
究 的 范式 不 同 。Ferindez 等 人 (2017) 关 注 的 是 自然 
状态 下 的 McGurk 刺激 感知 ; 而 Gau 和 Noppeney 
(2016) 关 注 的 是 有 心理 预期 条 件 下 对 McGurk Hl 
激 的 感知 。 即 后 者 可 能 还 包括 了 预期 的 效应 。(2) 
fMRI 无 法 细致 区 分 加 工 的 时 间 进 程 。 额 下 皮层 确 
实 与 视听 不 一 致 冲突 有 关 , 但 是 其 在 冲突 解决 的 
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过 程 中 可 能 有 不 同 的 激活 模式 。 具 体 而 言 : 大 脑 
探测 到 冲突 并 刚 开始 尝试 解决 时 ， 额 下 皮层 激活 
增强 ; 而 激活 越 强 , 就 越 有 利于 冲突 解决 ， 进 而 
有 利于 McGurk 效应 的 发 生 。 此 时 比较 McGurk 
效应 发 生 和 没 发 生 时 的 额 下 皮层 激活 程度 ,就 可 
能 得 到 Fernandez 等 人 (2017) 的 结果 。 但 当 过 了 大 
脑 尝 试 解决 冲突 的 时 间 段 ， 如 果 发 生 了 McGurk 
效应 则 可 能 冲突 已 经 基本 解决 。 所 以 由 于 冲突 
变 弱 , 额 下 皮层 的 激活 也 就 随 之 减 小 。 相 对 的 ， 如 
果 没 有 发 生 McGurk 效 应 , 则 冲突 还 没有 解决 ， 其 
激活 可 能 仍然 较 强 。 此 时 比较 McGurk 效应 发 生 
和 没 发 生 时 的 额 下 皮层 激活 程度 ， 就 可 能 得 到 
Gau 和 Noppeney (2016) 的 结果 。(3) 额 下 皮层 的 不 
同 区 域 可 能 在 不 同 的 时 间 进 程 上 起 到 不 同 的 作 
FA. Fernandez 等 人 (2017) 定 位 的 是 IFG, 而 Gau 
FI Noppeney (2016) 定 位 的 是 IFS, 位 置 稍 有 区 别 。 
二 者 可 能 在 上 述 加 工时 间 进 程 中 起 到 承接 的 作用 
一 一 随 着 冲突 解决 程度 的 改变 , 额 下 回 的 激活 模 
式 也 随 之 改变 。 这 个 问题 值得 进一步 采用 时 间 、 
空间 分 辩 率 都 较 高 的 MEG 技术 深入 探究 。 

ZE ETIR, 对 McGurk 效应 的 相关 脑 区 分 析 
仍 有 较 大 探索 空间 。 除 了 上 述 额 下 皮层 激活 模式 
之 外 , 未 来 研究 还 可 以 考虑 进行 功能 连接 分 析 。 
例如 对 刺激 的 加 工 是 如 何在 医 上 皮层 与 额 下 皮层 
二 者 之 间 传 递 的 ? 这 有 助 于 我 们 理解 McGurk 效 
应 中 的 视听 整合 过 程 和 视听 不 一 致 冲突 过 程 。 还 
可 以 考虑 进行 多 体 素 模式 分 析 (multivoxel pattern 
analysis，MVPA)， 以 探究 McGurk 刺激 相 比 于 视 
听 一 致 刺激 或 是 不 能 诱发 McGurk 效应 的 视听 不 
一 致 刺激 的 大 脑 激活 模式 有 何 差异 。 这 有 助 于 我 
们 进一步 理解 大 脑 对 McGurk 刺激 的 加 工 相 比 于 
其 他 视听 刺激 有 何 本 质 差 别 。 


5 总 结 与 展望 


McGurk 效应 反映 了 视觉 信息 对 听觉 感知 的 
影响 。 该 效应 提出 至 今 40 多 年 , 仍旧 是 视听 言语 


发 生 McGurk 效应 的 次 数 比 例 。 多 数 研究 将 
McGurk 效应 界定 为 :只 要 感知 到 不 同 于 实际 听觉 
刺激 的 音节 ， 就 算是 发 生 了 McGurk 效应 。(2) 
McGurk 效应 的 影响 因素 : 包括 物理 刺激 (例如 : 
视觉 、 听 觉 刺 激 、 视 听 刺 激 异 步 性 )、 认 知 因素 ( 例 
如 : 注意 分 配 、 心 理 预 期 ) 等 造成 个 体内 变异 的 因 
素 。 还 包括 视听 信息 依赖 程度 、 视 听 整 合 能 力 、 
语言 文化 差异 等 造成 个 体 间 变异 的 因素 。(3) 
McGurk 效应 的 认 知 神经 机 制 : McGurk 效应 发 生 
时 ,视觉 言语 信息 主要 来 自 说 话 者 的 嘴 部 区 域 (不 
过 , 说 话 者 面部 其 它 区 域 也 能 提供 有 效 的 视觉 言 
语 信息 )。 视 听 整 合 过 程 发 生 在 加 工 早 期 阶段 、 与 
里 上 皮层 有 关 。 视 听 不 一 致 冲突 发 生 在 加 工 晚 期 
阶段 、 与 额 下 皮层 有 关 。 

虽然 前 人 研究 对 McGurk 效应 进行 了 细致 深 
入 的 探讨 ， 但 仍然 存在 一 些 问题 与 不 足 ， 这 在 上 
文 已 经 有 所 讨论 (例如 : 现 有 研究 很 少 关 注 面 孔 社 
会 属性 对 McGurk 效应 的 影响 ， 也 很 少 关注 面部 
其 它 区 域 提供 的 视觉 言语 信息 , 而且 眼 动 和 fMRI 
人 研究 中 存在 不 一 致 的 结果 等 )。 下 文 将 从 McGurk 
效应 中 单 通 道 信 息 加 工 与 视听 整合 的 关系 、 
McGurk 效应 的 刺激 间 变 异 、 与 计算 模型 的 关系 、 
对 后 续 认 知 过 程 的 影响 、 以 及 范式 的 标准 化 与 推 
广 性 出 发 , 结合 已 有 研究 的 不 足 ， 提 出 未 来 研究 


的 可 能 方向 。 
5.1 McGurk 效应 中 单 通道 信息 加 工 与 视听 整合 
的 关系 


视听 整合 过 程 应 该 涉及 两 个 方面 : 一 是 加 工 
外 界 输入 的 单 通道 的 视觉 和 听觉 信息 ; 二 是 对 输 
入 的 视听 信息 进行 整合 。 遗 憾 的 是 ， 很 少 有 研究 
细致 区 分 McGurk 效应 发 生 率 的 改变 究竟 是 来 自 
哪个 方面 ,大 部 分 研究 只 是 粗略 地 解释 为 “ 某 因 
素 影 响 了 视听 整合 过 程 ” 而 没有 进一步 讨论 该 
因素 究竟 是 直接 影响 了 视听 整合 能 力 本 身 ， 还 是 
影响 了 个 体 对 单 通道 信息 的 加 工 过 程 (视听 整合 
能 力 可 能 不 变 )， 进 而 影响 了 视听 整合 的 程度 。 这 


感知 研究 中 的 热点 问题 。 本 文 尝试 对 McGurk 效 
应 的 研究 要 点 进行 系统 性 梳理 ,概括 如 下 : (1) 
McGurk 效应 的 测量 与 界定 : 诱发 McGurk 效应 需 
要 特定 辅音 的 视频 和 特定 辅音 的 音频 组 合 。 目 前 
较 常 用 视觉 辅音 “g” 和 听觉 辅音 “b” 的 组 合 。 相 关 
研究 中 最 普遍 的 因 变 量 指标 为 McGurk 效应 发 生 
率 ， 即 对 McGurk 刺激 实施 多 次 测量 后 计算 其 中 


是 未 来 研究 在 解释 McGurk 效应 发 生 率 的 变化 时 
需要 注意 的 问题 。 换 言 之 , 虽然 研究 者 们 公认 发 
生 McGurk 效应 就 是 发 生 了 视听 整合 , 但 是 直接 
把 McGurk 效应 发 生 率 等 同 于 视听 整合 能 力 显得 
过 于 武断 。 因 为 McGurk 效应 发 生 率 ( 即 视听 整合 
的 程度 ) 除 了 与 个 体 视 听 整 合 能 力 有 关 之 外 ,还 与 
个 体 对 单 通道 信息 (视觉 、 听 觉 信 息 ) 的 加 工 有 关 


和 
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(也 见 本 文 3.2)。 相 应 的 ， 在 神经 机 制 方面 , 已 有 
研究 大 都 关注 McGurk 效应 中 的 视听 整合 过 程 (最 
近 也 有 研究 开始 关注 McGurk 效应 与 视听 不 一 致 
冲突 ， 见 本 文 4.3)， 但 很 少 有 研究 关注 对 单 通道 
言 息 的 加 工 在 McGurk 效应 神经 机 制 中 所 起 的 作 
H, 这 在 未 来 同样 值得 进一步 探讨 。 

以 对 视觉 信息 的 加 工 过 程 ( 即 层 读 过 程 ) 为 例 
一 一 我 们 推测 , McGurk 效应 的 发 生 与 否 可 能 与 个 
体 对 视觉 信息 的 加 工 策略 (倾向 于 自 上 而 下 地 控 
制 还 是 自 下 而 上 地 反应 ) 有 关 ， 这 一 假设 主要 基于 
层 读 的 神经 机 制 研 究 。 研 究 表 明 , McGurk 效应 的 发 
生 率 与 唇 读 能 力 显 著 正 相关 (Strand et al., 2014)。 而 
听力 正常 者 层 读 过 程 的 神经 机 制 与 视听 整合 过 程 很 
相似 一 一 展 读 与 里 上 皮层 的 激活 相关 (Macsweeney， 


的 刺激 间 变 异 。 该 模型 认为 不 同 个 体 受 视觉 信息 
影响 的 程度 、 以 及 表征 视听 信息 的 清晰 度 不 同 ， 
不 同 刺 激 引 起 McGurk 效应 的 “能 力 ” 也 不 同 ( 有 的 
刺激 更 容易 诱发 McGurk 效应 有 的 更 不 容易 )， 
这 些 因素 共同 影响 McGurk 效应 是 否 发 生 。 相 应 
ib, NED 模型 包括 三 个 参数 : 感知 噪声 (sensory 
noise, oO)、 区 别 阔 限 (disparity threshold, T)、 刺 激 
差异 (stimulus disparity, D)。 其 中 ,感知 噪声 (o) 描 
述 了 个 体 在 表征 视听 信息 时 的 清晰 、 准 确 程 度 。 

RAI SB, RIER HT. K BRT) FHI T 
AACA Le fa EAE FT EY (LT RAK EX SI) BB 
限 越 高 , 个 体 越 倾 向 于 依赖 视觉 信息 进行 判断 ( 即 
更 可 能 产生 McGurk 效应 )。 感 知 噪声 和 区 别 阅 限 
都 是 描述 个 体 间 变异 的 参数 。 而 刺激 差异 (D) 描 述 


et al., 2000)。 然 而 ,听力 障碍 者 的 层 读 却 是 与 海马 
和 后 部 扣 带 皮层 的 活动 相关 ， AR aH E X Ja 
(Macsweeney, et al., 2002), 其中, 海马 的 激活 提示 
了 记忆 在 层 读 中 的 重要 作用 ,而 后 部 扣 带 皮层 则 
可 能 是 负责 将 记忆 中 的 语言 知识 与 外 部 输入 的 视 
觉 信息 进 行 比较 ,进而 完成 言语 感知 。 这 提示 听 
力 障碍 者 在 对 视觉 信息 的 加 工 过 程 ( 即 层 读 过 程 ) 
中 更 倾向 于 采取 自 上 而 下 的 加 工 策略 。 而 听力 正 
常 者 可 能 只 在 更 困难 的 言语 加 工 情境 下 (例如 有 
噪音 时 ) 才 调动 这 种 自 上 而 下 的 加 工 ( 张 明 ， 陈 发 ， 
2003)。 所 以 , 我 们 推测 ,不 同 加工 策略 并 不 是 非 
此 即 彼 ,而 是 连续 变化 有 所 权重 ,而 个 体 加 工 视 
觉 信息 时 采取 的 两 种 加 工 策略 的 权重 可 能 与 
McGurk 效应 有 关 。 
5.2 McGurk 效应 的 刺激 间 变 异 

McGurk 效应 存在 较 大 的 刺激 间 变 异 。 即 不 同 
的 McGurk 刺激 (例如 不 同 的 说 话 人 、 不 同 的 视听 
音节 组 合 ) 对 同一 个 被 试 而 言 ， 其 McGurk 效应 发 
生 率 可 能 有 较 大 差异 (Mallick et al., 2015)。 目 前 大 
部 分 研究 都 只 采用 1 个 或 2 个 McGurk 刺激， 所 以 
在 进行 研究 之 间 的 比较 时 ， 刺 激 间 的 变异 也 可 能 
导致 研究 结果 差异 。 但 很 少 有 研究 者 考虑 这 个 问 
题 ,未 来 研究 可 以 考虑 使 用 多 个 McGurk 刺激 ， 以 
期 降低 McGurk 效应 的 刺激 间 变 异 的 影响 。 不 过 ， 
这 样 也 会 带 来 另 一 个 问题 : 如 何 控制 本 研究 中 的 
刺激 间 变 异 。 

人 研究 者 可 以 考虑 使 用 McGurk 效应 的 差异 噪 
声 编码 模型 (noisy encoding of disparity model, NED, 
Magnotti & Beauchamp, 2015) 来 分 离 McGurk 效应 


了 单个 McGurk 刺激 引起 McGurk 效应 的 可 能 1 
大 小 , 是 描述 刺激 间 变 异 的 参数 。 该 模型 区 分 了 
刺激 引起 的 变异 和 个 体 的 内 部 差异 ,这 让 研究 者 可 
以 利用 该 模型 分 离 出 由 刺激 的 差异 带 来 的 McGurk 
效应 变异 。 所 以 ,未 来 研究 可 以 考虑 采用 多 个 
McGurk 刺激 、 并 使 用 NED 模型 来 控制 刺激 间 差 
蜡 的 影响 。 可 以 考虑 在 经 过 预 实验 之 后 ， 筛 选 出 
刺激 差异 相似 的 McGurk 刺激 。 也 可 考虑 不 直接 
比较 McGurk 效应 发 生 率 , 而 是 比较 模型 拟 合 后 
的 个 体 相 关 参 数 ， 即 感知 噪声 和 区 别 阔 限 的 变 
化 。 这 样 一 方面 可 以 增加 结论 的 可 推广 性 ， 另 一 
方面 可 以 控制 由 于 增加 McGurk 刺激 数量 而 带 来 
的 刺激 差异 混淆 。 尤 其 是 涉及 使 用 不 同 刺 激进 行 
组 间 比 较 的 实验 、 或 是 不 同 刺激 在 被 试 间 交 叉 平 
衡 的 实验 。 
5.3 McGurk 效应 的 脑 机 制 与 计算 模型 

除了 上 文 探讨 的 脑 机 制 相 关 研 究 ， 计 算 模 型 
人 研究 也 尝试 从 新 的 角度 对 McGurk 效应 的 机 制 进 
行 解释 (Marques et al., 2016; Samuel, 2011)。 例 如 
上 文 已 经 提 到 的 分 层 预 测 编码 模型 (Olasagasti et 
al., 2015) 以 及 NED 模型 (Magnotti & Beauchamp, 
2015)。 未 来 研究 应 考虑 将 脑 科学 技术 与 计算 模型 
相 结 合 。 不 同 于 通过 实验 操纵 或 是 利用 神经 生理 
技术 来 探究 机 制 的 方法 ， 计 算 模 型 研究 尝试 先 假 
定 其 中 的 加 工 过 程 ， 并 利用 不 同 的 参数 来 描述 不 
同 的 加 工 过 程 ， 参 数 在 其 中 代表 的 意义 与 特定 加 
工 过 程 相 对 应 。 这 可 能 为 我 们 理解 某 个 认 知 过 程 
提供 新 的 思路 。 但 是 ， 计 算 模 型 比较 依赖 事先 对 
模型 的 假设 ， 其 参数 拟 合 大 多 是 依据 行为 结果 ( 例 
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如 McGurk 效应 发 生 率 ) 或 是 视听 刺激 的 物理 参数 ， 
这 与 其 它 探讨 McGurk 效应 脑 机 制 的 研究 (例如 


易 被 错误 地 知觉 为 “ada”(McGurk 知觉 )。 而 且 当 
这 种 情况 发 生 时 ， 大 脑 的 听觉 皮层 的 激活 模式 与 


EEG, fMRI 结果 ) 关 联 较 小 。 遗 憾 的 是 , IRDA 
McGurk 效应 的 研究 将 神经 生理 技术 与 计算 模型 
相 结合 。 所 以 , 未 来 的 计算 模型 研究 可 以 考虑 利 
用 EEG .fMRI 结果 等 神经 科学 指标 进行 参数 拟 合 ， 
抑或 是 神经 科学 研究 可 以 考虑 利用 计算 模型 寻找 
相应 参数 的 对 应 脑 区 ， 为 模型 的 参数 找到 神经 基 
础 。 例 如 :将 神经 生理 结果 与 NED 模型 相 结 合 ， 尝 
试 寻找 刺激 差异 (D)、 感 知 噪声 (co)、 区 别 阔 限 (T) 
的 相关 脑 区 。 这 有 助 于 我 们 定位 哪些 脑 区 负责 编 
码 刺 激 差异 、 哪 些 脑 区 负责 表征 视听 信息 的 清晰 
度 、 以 及 哪些 脑 区 负责 对 视觉 信息 的 利用 等 。 再 
如 : 最 近 提 出 的 多 感觉 语言 感知 的 因果 推断 模型 
(model of causal inference in multisensory speech 
perception, Magnotti & Beauchamp, 2017) 认 为 ， 人 


实际 听 到 “ada” 时 更 相似 ( 相 比 于 没有 把 纯 听 觉 
“aba” 错 误 地 知觉 为 “ada” 的 情况 )。 这 提示 当 感 知 
到 McGurk 效应 时 , 大脑 的 神经 表征 模式 会 从 表 
征 “aba” 向 “ada” 转 换 ， 这 会 影响 到 后 续 的 纯 听 觉 
任务 (Liittke, Ekman, van Gerven, & de Lange, 
2016)。 这 些 研究 都 提示 , McGurk 效应 的 发 生 确实 
会 对 后 续 认 知 过 程 产生 影响 ,探究 该 问题 有 助 于 
我 们 更 加 全 面 地 认识 McGurk 效应 。 与 此 相关 的 
另 一 个 有 趣 问题 是 :在 McGurk 效应 研究 中 ， 刺激 
材料 多 采用 的 是 无 意义 音节 (例如 听觉 “ba” 和 视觉 
“ga” 感 知 到 “da”)。 但 有 少 部 分 人 研究 采用 的 是 词汇 
刺激 (例如 : 听觉 <bait* 和 视觉 <gate” 感 知 到 “date”， 
Alsius et al., 2005, 2007)。 那么 当 采 用 词汇 刺激 时 ， 
McGurk 效 应 发 生 ( 或 没 发 生 ) 后 的 语义 激活 情况 如 


们 在 面 对 多 通道 信息 时 并 不 是 直接 进行 整合 ， 而 
是 先 判断 这 些 不 同 通道 的 信息 是 否 同 源 的 可 能 

因果 推断 )， 并 据 此 给 “整合 ”或 “不 整合 "分配 权 
即 在 面 对 视 听 不 一 致 的 McGurk 刺激 时 ， 
大 脑 会 先 判断 视听 信息 是 来 自 同一 个 人 的 可 能 

(以 及 不 是 来 自 同一 个 人 的 可 能 性 )， 并 据 此 给 “ 整 
合 " 或 “不 整合 ”命令 分 配 权 重 、 并 平均 表征 。 在 完 


i, =~ 


iml 
pan 


何 变化 ?是 激活 了 听觉 词 的 语义 、 还 是 视觉 词 的 
语义 、 还 是 整合 后 感知 的 语义 ? 抑或 是 所 有 语义 
都 有 激活 ， 只 是 激活 程度 不 同 ? 这 有 助 于 我 们 理 
解 McGurk 效应 发 生 后 , 原本 的 听觉 与 视觉 刺激 
在 加 工 过 程 中 如 何 变化 。 

5.5 McGurk 效应 的 范式 标准 化 和 推广 性 
虽然 对 McGurk 效应 的 研究 很 多 , 但 不 同 研 


成 因果 推断 之 后 ， 如 果 执 行 “整合 ”命令 ， 则 会 让 
Æ McGurk 效应 ; 反之 ， 则 不 会 发 生 McGurk 效 
应 。 这 提示 我 们 , 除了 视听 整合 过 程 和 视听 不 一 
致 冲突 之 外 , 在 那 之 前 的 因果 推断 过 程 可 能 也 是 
发 生 McGurk 效应 时 的 一 个 步 又。 为 之 寻找 相关 
神经 基础 有 助 于 我 们 补充 、 完 善 对 McGurk 效应 
机 制 的 理解 。 
5.4 McGurk 效应 对 后 续 认 知 过 程 的 影响 

多 数 研 究 都 在 关注 影响 McGurk 效应 的 因素 ， 
或 是 直接 探讨 McGurk 效应 的 机 制 ， 很 少 有 研究 
关注 McGurk 效应 发 生 之 后 的 “后 续 影响 ”。 即 
McGurk 效应 是 否 以 及 如 何 影 响 其 他 认 知 过 程 。 
绕 这 个 要 点 ,可 以 提出 很 多 有 趣 的 研究 问题 。 例 
如 :有 研究 发 现 ， 当 被 试 感受 过 McGurk 刺激 之 后 ， 


究 之 间 在 细节 上 存在 较 大 差异 , 研究 范式 的 标准 
化 是 未 来 需要 重视 的 问题 ， 主 要 包括 : 采用 标准 
化 刺激 、 使 用 一 致 的 McGurk 效应 界定 标准 、 在 
实验 中 加 入 填充 试 次 、 报 告 完 整 的 描述 统计 结果 。 
Alsius 等 人 (2018) 尝 试 对 McGurk 效应 的 强度 进行 
元 分 析 。 但 在 初步 得 出 的 276 项 研究 中 ， 最 终 符 
合 元 分 析 标 准 的 只 有 21 项 。 而 在 这 21 项 研究 之 
H, 只 有 2 项 研究 用 表格 报告 了 均值 标准 差 ; 不 
同 研究 之 间 范 式 的 使 用 也 千差万别 。 而 且 ， 考虑 
到 McGurk 效应 的 刺激 间 变 异 和 个 体 间 变异 , 在 
确定 造成 这 些 变 异 的 主要 原因 之 前 ( 即 可 能 的 调 
节 变 量 )， 对 McGurk 效应 的 强度 进行 元 分 析 似 乎 
是 不 可 能 的 。 这 强烈 提示 我 们 : 在 未 来 的 研究 中 ， 
应 注意 以 下 问题 : (1) 采 用 标准 化 刺激 。 研 究 者 们 


yt 


在 接 下 来 的 单独 声音 判断 任务 中 ,被 试 会 更 倾向 
于 认为 听 到 的 声音 是 之 前 看 到 的 嘴 型 的 声音 。 即 
McGurk 效应 会 重新 校准 个 体 对 听觉 语音 的 识别 
(Bertelson et al., 2003)。 类 似 的 ， 另 一 项 研究 也 发 
现 ， 当 McGurk 效应 发 生 ( 听 觉 “aba” 和 视觉 “aga” 
被 感知 为 “ada”) 之 后 ， 对 纯 听 觉 “aba” 的 判断 更 容 


应 该 建立 标准 McGurk 刺激 的 开放 数据 库 ， 一 方 
面 免 去 自行 录制 视频 的 投入 ,， 另 一 方面 可 以 更 好 
地 控制 McGurk 效应 的 刺激 间 变 异 ， 有 助 于 进行 
研究 间 的 比较 。(2) 使 用 一 致 的 McGurk 效应 界定 
标准 。 建 议 采 用 宽松 的 McGurk 效应 界定 标准 。 
即 只 要 听觉 感知 不 同 于 实际 的 听觉 刺激 ,就 算是 
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发 生 了 McGurk 效应 (Alsius et al., 2018; Tiippana, (2009). 多 感官 线索 整合 的 理论 模型 . OBA AER, 


2014)。(3) 在 实验 中 加 入 填充 斌 次。 建议 除了 视听 
一 致 刺激 之 外 ,增加 单独 听觉 的 条 件 作 为 填充 试 
次 ， 以 确认 在 McGurk 效应 中 确实 是 视觉 信息 对 听 
觉 感知 造成 了 影响 ， 而 不 是 被 试听 觉 感知 本 身 的 
问题 (Alsius et al., 2018)。(4) 应 该 报告 完整 的 描述 
性 统计 结果 ,这 是 将 来 进行 元 分 析 的 必要 数据 。 
最 后 ,人 研究 者 还 需要 注意 McGurk 效应 的 推 
广 性 问题 将 McGurk 效应 的 研究 结论 推广 到 
视听 一 致 的 言语 感知 情景 中 时 ， 需 要 谨慎 (Alsius 
et al，2018)。 因 为 McGurk 效应 的 加 工 过 程 无 论 
在 现象 上 还 是 神经 上 都 与 视听 一 致 时 的 加 工 过 程 
不 完全 一 样 。 主 要 体现 在 以 下 研究 中 : (1) 个 体 对 
视听 一 致 刺激 的 加 工 不 涉及 视听 冲突 ,但 对 
McGurk 刺激 的 加 工 可 能 涉及 视听 不 一 致 冲突 的 
探测 和 人 解决 (Fernéndez et al., 2017)。 而 且 McGurk 
效应 的 发 生 率 与 探测 视听 不 一 致 的 能 力 (分 辩 真 
实 的 视听 一 致 刺激 和 McGurk 刺激 ) 有 显著 负 相 关 
(Strand et al., 2014)。(2) 相 比 于 McGurk Haji, il 
上 皮层 对 视听 一 致 刺激 更 偏好 ， 即 对 视听 一 致 刺 
激 的 激活 更 强 (Liittke，Ekman，van Gerven, & de 
Lange, 2015)。(3) 个 体 的 McGurk 效应 发 生 率 与 个 
体 在 噪声 中 利用 视觉 信息 辅助 听觉 理解 句子 的 能 
力 没有 显著 相关 。 而 后 者 的 刺激 主要 是 视听 一 致 
刺激 。 这 提示 我 们 McGurk 效应 不 一 定 能 直接 蔡 
代 对 视听 一 致 刺激 的 研究 (Van Engen et al., 2017)。 
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Abstract: The McGurk effect is a typical audiovisual integration phenomenon, influenced by characteristics 
of physical stimuli, attentional allocation, the extent that individuals rely on visual or auditory information 
in processing, the ability of audiovisual integration, and language/culture differences. Key visual 
information that leads to the McGurk effect is mainly extracted from the mouth area of the talker. The 
McGurk effect implicates both audiovisual integration (which occurs in the early processing stage and is 
related to the activation of superior temporal cortex) and the conflict of the incongruent audiovisual stimuli 
(which occurs in the late processing stage and is related to the activation of inferior frontal cortex). Future 
studies should further investigate the influence of social factors on the McGurk effect, pay attention to the 
relationship between unimodal information processing and audiovisual integration in the McGurk effect, and 
explore the neural mechanisms of McGurk effect with computational modeling. 
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